Vi-En MT Experiment

1. Set up:

2. Data:

2.1. Download data:

2.2. Process data:

3. Training:

3.1. Experiment 1

!CUDA_VISIBLE_DEVICES=0 fairseq-train \
    $DATA_DIR \
    --task translation \
    --arch transformer_wmt_en_de --share-decoder-input-output-embed \
    --optimizer adam --adam-betas '(0.9, 0.98)' --clip-norm 0.0 \
    --lr 5e-4 --lr-scheduler inverse_sqrt --warmup-updates 4000 \
    --dropout 0.3 --weight-decay 0.0001 \
    --criterion label_smoothed_cross_entropy --label-smoothing 0.1 \
    --max-tokens 4096 \
    --eval-bleu \
    --eval-bleu-args '{"beam": 5, "max_len_a": 1.2, "max_len_b": 10}' \
    --eval-bleu-detok moses \
    --eval-bleu-remove-bpe \
    --eval-bleu-print-samples \
    --best-checkpoint-metric bleu --maximize-best-checkpoint-metric \
    --no-progress-bar --log-format simple --keep-interval-updates 20 \
    --save-dir $CHECKPOINT_DIR \
    --update-freq 8 --max-epoch 5 \
    --wandb-project "Vi to En Translation"

3.2. Experiment 2

!CUDA_VISIBLE_DEVICES=0 fairseq-train \
    $DATA_DIR  \
    --task translation \
    --arch fconv_wmt_en_de \
    --dropout 0.2 \
    --criterion label_smoothed_cross_entropy --label-smoothing 0.1 \
    --optimizer nag --clip-norm 0.1 \
    --lr 0.5 --lr-scheduler fixed --force-anneal 50 \
    --max-tokens 4096 \
    --eval-bleu \
    --eval-bleu-args '{"beam": 5, "max_len_a": 1.2, "max_len_b": 10}' \
    --eval-bleu-detok moses \
    --eval-bleu-remove-bpe \
    --eval-bleu-print-samples \
    --best-checkpoint-metric bleu --maximize-best-checkpoint-metric \
    --no-progress-bar --log-format simple --keep-interval-updates 20 \
    --save-dir $CHECKPOINT_DIR \
    --update-freq 8 --max-epoch 5 \
    --wandb-project "Vi to En Translation"

3.3. Experiment 3

3.4. Experiment 4

3.5. Experiment 5

3.6. Experiment 6

3.7. Experiment 7

3.8. Experiment 8

!CUDA_VISIBLE_DEVICES=0 fairseq-train \
    $DATA_DIR \
    --task translation \
    --arch bart_base --layernorm-embedding --share-all-embeddings --share-decoder-input-output-embed \
    --optimizer adam --adam-betas "(0.9, 0.98)" --adam-eps 1e-08 --clip-norm 0.1 \
    --lr-scheduler polynomial_decay --lr 3e-04 --warmup-updates 2500 \
    --dropout 0.1 --attention-dropout 0.1 --weight-decay 0.01 \
    --criterion label_smoothed_cross_entropy --label-smoothing 0.1 \
    --max-tokens 10000 \
    --eval-bleu \
    --eval-bleu-args '{"beam": 5, "max_len_a": 1.2, "max_len_b": 10}' \
    --eval-bleu-detok moses \
    --eval-bleu-remove-bpe \
    --eval-bleu-print-samples \
    --best-checkpoint-metric bleu --maximize-best-checkpoint-metric \
    --no-progress-bar --log-format simple --keep-interval-updates 20 \
    --save-dir $CHECKPOINT_DIR \
    --update-freq 8 --max-epoch 12 \
    --fp16 \
    --wandb-project "Vi to En Translation"

3.9. Experiment 9:

3.10. Experiment 10:

3.11. Experiment 11:

3.13. Experiment 13:

4. Evaluation:

%%bash
!fairseq-generate --fp16 \
    $BINARIZED_TEST_FILE \
    --path $CHECKPOINT_FILE \
    --max-tokens 4096 --beam 5 \
    --source-lang vi --target-lang en --moses-no-dash-splits --tokenizer moses \
    --bpe subword_nmt --bpe-codes $BPE_FILE \
    --remove-bpe \
    | tee gen.out

grep ^D gen.out | cut -f3- > $TRANSLATION_FILE

sacrebleu \
    $REFERENCE_FILE \
    --input $TRANSLATION_FILE \
    --metrics {bleu,chrf,ter} \
    --lowercase --chrf-lowercase \
    --confidence > $SCORE_FILE

5. Side experiments:

5.1 Beam size:

5.2. Reference files:

5.3. Manual inspections:

idx: 524

src: Mức lương thứ 3 là phổ biến nhất, đang được áp dụng cho các ngân hàng nhỏ hơn, khoảng 10.000 đô la một tháng.

ref: The third, the most popular salary level, is being applied to smaller banks, about $10,000 a month.

gtt: The 3rd salary is the most common, being applied to smaller banks, around $10,000 a month.

own: the 3rd salary is the most common, which is being applied to smaller banks, at about $10,000 a month.

idx: 815

src: Erasmus Mundus là chương trình học bổng lớn của Liên hiệp châu Âu giúp sinh viên xuất sắc có cơ hội được học tập tại những trường đại học của châu Âu.

ref: Erasmus Mundus is a big scholarship program of the Europe Union which helps outstanding students have the opportunity to study at the European universities.

gtt: Erasmus Mundus is a major European Union scholarship program that helps excellent students have the opportunity to study at European universities.

own: erasmus mundus is the european union's major scholarship program that gives outstanding students the opportunity to study at the universities of europe.

idx: 1279

src: Yoon Eun Hye vừa trở thành gương mặt trang bìa cho tạp chí High Cut với hình ảnh người phụ nữ hiện đại, thành thị.

ref: Yoon Eun Hye graced High Cut magazine not long ago with the image of a modern and urban lady.

gtt: Yoon Eun Hye has just become the cover face for High Cut magazine with the image of a modern, urban woman.

own: yoon eun hye just became the cover face of high cut magazine with the image of a modern, urban woman.

idx: 1022

src: George Skinner, bố của Alice, cho biết: "Có nhiều lúc chúng tôi nghĩ rằng con gái mình sẽ không qua khỏi".

ref: George Skinner, Alice's father, said: "We have thought many times that our daughter was't able to last out".

gtt: George Skinner, Alice's father, said: "There were times when we thought our daughter was not going to make it."

own: "there were times when we thought our daughter was not going to make it," said george skinner, alice's father.

idx: 1919

src: Ngoài Angimex, năm ngoái Công ty cổ phần Bảo vệ thực vật An Giang đã xuất khẩu hơn 300 tấn gạo tấm sang Nhật.

ref: In addition to Angimex, An Giang Plant Protection Joint Stock Company last year exported over 300 tons of broken rice to Japan.

gtt: Besides Angimex, last year An Giang Plant Protection Joint Stock Company exported more than 300 tons of broken rice to Japan.

own: in addition to angimex, last year an giang plant protection jsc exported more than 300 tons of broken rice to japan.

idx: 1935

src: Ông Tuyên nói, "Nếu được phê duyệt, kế hoạch này sẽ sớm được thực hiện".

ref: "If approved, this plan will soon be implemented," said Tuyen.

gtt: "If approved, this plan will soon be implemented," Mr. Tuyen said.

own: if approved, the plan will be implemented soon, "tuyen said.

idx: 408

src: Nhà sản xuất xe hơi tại Nhật Bản đã buộc phải hạn chế sản lượng do hậu quả của trận động đất và sóng thần.

ref: Japanese car manufacturers were forced to curb output in the aftermath of the earthquake and tsunami.

gtt: The Japanese car maker was forced to limit output as a result of the earthquake and tsunami.

own: the car manufacturer in japan was forced to limit production as a result of the earthquake and tsunami.

idx: 1589

src: Đoàn Việt Nam sẽ tham gia vào các hoạt động của Hội nghị Cấp cao ASEM 9 lần này với tinh thần chủ động, tích cực và có trách nhiệm, nhằm đóng góp thiết thực vào việc thúc đẩy hợp tác Á-Âu.

ref: The Vietnamese delegation will take part in the 9th ASEM Summit's activities with a high sense of activeness, positiveness and responsibility to practically contribute in fostering Asia - Europe cooperation.

gtt: The Vietnamese delegation will participate in activities of this 9th ASEM Summit with a proactive, positive and responsible spirit, in order to make practical contributions to promoting Asia-Europe cooperation.

own: the vietnamese delegation will participate in the activities of this nine-time asem summit in a proactive, positive and responsible spirit, aiming to make a practical contribution to the promotion of eurasian cooperation.

idx: 1312

src: Ngày 5 tháng 12 năm 2007, các đại diện của ITA tại Hà Nội đã có chuyến viếng thăm trường tiểu học Sông Giang để trao tặng 17 triệu đồng cho 5 giáo viên của trường này.

ref: On December 5, 2007, ITA's representatives in Hanoi paid a visit to Song Giang primary school to hand over VND17 million to the 5 mentioned school teachers.

gtt: On December 5, 2007, representatives of ITA in Hanoi visited Song Giang primary school to donate VND 17 million to 5 teachers of this school.

own: on 5 december 2007, representatives of ita in hanoi visited the river giang primary school to award vnd17 million to five teachers of the school.

idx: 1616

src: Ngày 25-11, đại biểu Quốc hội Thành phố Hồ Chí Minh do Chủ tịch nước Trương Tấn Sang dẫn đầu đã có cuộc tiếp xúc cử tri tại quận 3 và quận 4.

ref: Voters in district 3 and district 4 met with Ho Chi Minh City National Assembly deputies led by state President Truong Tan Sang on November 25.

gtt: On November 25, a member of the National Assembly of Ho Chi Minh City led by President Truong Tan Sang had a meeting with voters in District 3 and District 4.

own: on november 25, ho chi minh city's national assembly member, led by state president truong tan, met with voters in district 3 and district 4.

idx: 1055

src: Thủ đô Kula Lumpur hấp dẫn người nước ngoài vì vẻ đẹp hiện đại của những khu nhà chọc trời và trung tâm mua sắm lớn, hoà lẫn với nét dân dã của những ngôi làng cổ và khu phố ẩm thực Hoa, Ấn.

ref: Kula Lumpur capital attracts foreigners because of modern beauty of skyscrapers and large shopping centers, mixing with rustic accent villages and Chinese and Indian food streets.

gtt: The capital, Kula Lumpur, attracts foreigners because of the modern beauty of skyscrapers and large shopping centers, mixed with the rustic features of old villages and Chinese and Indian food streets.

own: the capital city of kula lumpur is attractive to foreigners for the modern beauty of large skyscrapers and shopping malls, mingling with the savagery of ancient villages and chinatown.

idx: 825

src: Ứng viên trúng tuyển sẽ lên đường đi học vào tháng 7-8 năm 2012 và phải hoàn thành khóa học hoặc phải hoàn trả toàn bộ kinh phí cho Chính phủ Brunei.

ref: Successful candidates will start to study abroad in July-August 2012 and have to finish the course or pay back complete school fee for Brunei Government.

gtt: Successful candidates will be leaving for school in July-August 2012 and must complete the course or fully reimburse the Government of Brunei.

own: the matriculating applicant is due to leave for school in july – august 2012 and must complete the course or repay all funds to the brunei government.

idx: 379

src: Được thành lập từ năm 1905, NUS là viện đại học đa ngành lớn nhất trong ba viện đại học công lập của Singapore.

ref: The NUS was established in 1905 and is one of the three largest multi-disciplinary public institutions in Singapore.

gtt: Established in 1905, NUS is the largest multidisciplinary university of the three public universities in Singapore.

own: founded in 1905, nus is the largest of the three public universities in singapore.

idx: 373

src: Trại hè quốc tế NUS lần thứ 7 tự tin sẽ thu hút được đông đảo sự quan tâm của giới học sinh sinh viên Việt Nam và các nước.

ref: The 7th NUS international summer camp will confidently attract a lot of attention in student circles of Vietnam and others.

gtt: The 7th NUS International Summer Camp is confident to attract a lot of attention from Vietnamese and international students.

own: the confident 7th nus international summer camp will attract a large amount of attention from vietnamese students and other countries.

idx: 1998

src: Các chuỗi siêu thị tại TPHCM đã đưa ra các chương trình khuyến mãi kéo dài cho đến Tết Âm Lịch để kích cầu.

ref: Supermarket chains in HCMC have launched sales promotion programs lasting until the Lunar New Year in order to stimulate demand.

gtt: Supermarket chains in Ho Chi Minh City have launched promotions until the Lunar New Year to stimulate demand.

own: supermarket chains at tphcm have launched promotions that last until the lunar new year to jack up demand.